Arnautović từng là thành viên đội U-19 Áo tham dự Giải vô địch bóng đá U-19 châu Âu năm 2007 nhưng anh đã bị truất quyền thi đấu ở trận thứ hai vòng bảng và U-19 Áo sau đó cũng bị loại sớm. Sau đó, anh lại được gọi vào đội tuyển U-21 Áo và sau khi có được thành tích ba bàn/năm trận, huấn luyện viên Andreas Herzog đã khen anh là cầu thủ Áo xuất sắc nhất trong vòng 30 năm qua.[50]

Arnautović có trận đấu đầu tiên cho đội tuyển Áo vào ngày 11 tháng 10 năm 2008 gặp Quần đảo Faroe. Anh có bàn thắng đầu tiên vào ngày 8 tháng 10 năm 2010, một cú đúp trong chiến thắng 3-0 trước Azerbaijan tại vòng loại Euro 2012.[51] Bốn ngày sau đó, cũng trong khuôn khổ vòng loại Euro 2012, anh góp một bàn thắng trong trận hòa 4-4 với Bỉ.[52]

Euro 2016

Arnautović góp công lớn trong việc giúp đội tuyển Áo giành quyền tham dự Euro 2016 tại Pháp với ba bàn thắng trong suốt vòng loại, vào lưới các đội tuyển Montenegro và Liechtenstein.[53] Anh là một trong 23 cầu thủ Áo được huấn luyện viên Marcel Koller chọn tham dự Euro 2016.[54] Tuy nhiên, đội tuyển Áo đã rời giải ngay sau đó với chỉ vỏn vẹn 1 điểm, đứng cuối bảng F với 1 trận hòa và 2 trận thua, chỉ ghi được 1 bàn thắng và bị thủng lưới 4 bàn trong đó Arnautović có mặt trong đội hình chính thức ở cả ba trận vòng bảng lần lượt với Hungary, Bồ Đào Nha và Iceland.

Tại lượt trận thứ hai Vòng loại World Cup 2018, Arnautović lập cú đúp giúp Áo cầm hòa Wales 2-2 sau hai lần bị dẫn trước.[55]

Arnautović ghi những bàn thắng đầu tiên tại Vòng loại Euro 2020 với cú đúp vào lưới Israel nhưng Áo vẫn phải chấp nhận thất thủ 2-4 trên sân khách.[56] Anh sau đó có thêm hai cú đúp liên tiếp trong hai chiến thắng đậm 4-1 và 6-0 trước Bắc Macedonia và Latvia.[57][58]